AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation
AgentLens：以轨迹审查评估生产级编程代理
🧭 代理评估 · 轨迹审查
Explyt · St. Petersburg Department of the Steklov Institute of Mathematics · St. Petersburg State University
提出基于LLM审查完整交互轨迹的编程代理评估基准，提供可解释评价用于诊断与回归检测。
📌 工作参考价值（4 点）
- 从结果评估转向过程评估：在电商对话Agent（如导购助手）中，不仅评估最终推荐商品是否准确，还需审查对话轨迹的指令遵循、工具调用、错误恢复，以提升用户体验。
- LLM轨迹审查用于回归检测：借鉴nightly评估管道，用LLM编写审查脚本，自动对比新旧版本Agent的轨迹，捕捉产品回归（如回答风格变差、幻觉增加）。
- 形式化验证+LLM审查混合策略：对可客观验证的部分（如商品ID有效性、API调用格式）用形式化检查，对主观质量（解释流畅性、推荐理由合理性）用LLM审查，兼顾准确性和灵活性。
- 开放任务评估：对于生成商品描述、推荐文案等没有唯一正确答案的任务，采用整体轨迹质量评分，替代简单的pass/fail。